✈️ Свежие новости из мира AI и Data Science

👍 Технологии, модели и тренды:
— Google Gemini 2.5 Pro — новая превью-версия самой мощной модели Google, уже вырвалась в лидеры LMArena и WebDev Arena. Меньше месяца после последнего релиза — и снова прорыв.
— ElevenLabs v3 — самая выразительная AI TTS-модель, поддержка множества языков, включая арабский, африкаанс и мандарин. Новый стандарт для голосовых приложений.
— OpenAI и ChatGPT-5 — разбираем слухи, утечки и возможные фичи следующей версии ChatGPT. Что нового и чего ждать?

🧠 Исследования, статьи и практики:
— AI лучше человека в тестах на эмоциональный интеллект — исследование Женевского и Бернского университетов: ChatGPT и другие ИИ превосходят людей в распознавании и интерпретации эмоций.
— Сколько действительно запоминают LLM-модели? — методика оценки «запоминания» vs. «обобщения» в языковых моделях.
— Themis AI от MIT — стартап, обучающий ИИ понимать, чего он не знает. Подход к контролю неопределённости.
— ICLR 2025 и доверие к ИИ — новые подходы к обучению на субъективных данных, оценке качества моделей и внедрению человеческих суждений.

🎙 AI в обществе и индустрии:
— Demis Hassabis (DeepMind): «AI изменит рынок труда за 5 лет» — CEO Google DeepMind выступил на Google I/O и подкасте Hard Fork, обозначив AGI как ключевую технологию будущего.
— MCP-серверы: что это и зачем они нужны? — скоро на слуху у всех, особенно в проектах с тяжёлыми ML-нагрузками.

📘 Обучение, процессы и инструменты:
— Лучшие нейросети для суммаризации текста — подборка инструментов для пересказа, анализа и работы с текстами.
— Как наладить работу в кросс-функциональной команде Data Science + Dev — опыт Lamoda в совмещении ML и инженерии.

Библиотека дата-сайентиста #свежак

⚡️ Scikit-learn 1.7 — свежий релиз с полезными улучшениями

✅ Что нового

• Красивее и понятнее отображение пайплайнов
Теперь в HTML-представлении моделей отображаются параметры, не-дефолтные подсвечиваются, есть копирование для grid search'ей.

• Custom валидация для HistGradientBoosting
Поддержка X_val, y_val прямо в .fit() + трансформация вал.набора через transform_input в пайплайне.

• ROC-кривые из cross-validation
Теперь RocCurveDisplay.from_cv_results() — удобно рисовать сразу несколько ROC-кривых.

• Поддержка Array API (PyTorch, CuPy и др.)
Больше функций теперь дружат с массивами по стандарту array API — можно использовать альтернативы NumPy без доп. пакетов.

• MLP теперь более согласованный
MLPRegressor поддерживает loss='poisson', а также sample\_weight в обоих MLP-классах.

• Переход на sparse arrays
Все модели, работавшие с sparse matrix, теперь совместимы и с sparse arrays — шаг навстречу будущему SciPy.

📥 Установить:

pip install --upgrade scikit-learn

✅ Полный changelog — в release notes

Библиотека дата-сайентиста #свежак

💫 Топ-вакансий для дата-сайентистов за неделю

Data Engineer / Embedded Software Engineer —‍ от 300 000 до 387 000 ₽ , удалёнка

MLOps-инженер —‍ от 250 000 ₽, гибрид (Москва)

Data Analyst, гибрид (Екатеринбург)

Data Scientist —‍ 150 000₽, удалёнка

Руководитель группы анализа данных —‍ от 400 000 —до 500 000 ₽, гибрид (Москва)

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

🚩 Шпаргалка: стратифицированная выборка

Выборка — важный этап любого исследования. Один из надёжных способов — стратифицированная выборка, при которой вся совокупность делится на подгруппы (страты), и из каждой отбирается выборка.

Это особенно полезно, когда необходимо учесть особенности разных сегментов данных.

Преимущества стратифицированной выборки:
🟠 Точная репрезентативность — каждая группа учтена, искажения минимальны
🟠 Более высокая точность — за счёт меньшей дисперсии внутри страт
🟠 Экономия ресурсов — меньший объём выборки при той же достоверности

Сложности, с которыми можно столкнуться:
🔴 Сложная реализация — нужно заранее определить страты
🔴 Риск ошибок — неверная классификация испортит результаты
🔴 Ограниченность — не применим, если нет явных подгрупп

Варианты стратифицированной выборки:
🟣 Пропорциональная — каждая страта представлена в выборке по доле в популяции
🟣 Равномерная — одинаковое число объектов из каждой страты
🟣 Оптимальная — учитывает разброс и стоимость сбора: больше данных — там, где это выгоднее
🟣 Непропорциональная — размер выборки по каждой страте определяется задачей анализа (например, усилить редкие подгруппы)

Библиотека дата-сайентиста #свежак

👌 Как найти и избежать утечек данных: пошаговое руководство

Утечки данных — одна из самых распространённых и коварных ошибок в построении моделей машинного обучения.

✅ Вот как шаг за шагом выявить и предотвратить утечки в проектах.

1️⃣ Понимайте, что такое утечка данных

Утечка — когда модель получает данные из будущего или из «ответов», которых не должно быть во время обучения. Вот основные типы:

✅ Целевая утечка (Target Leakage): признаки напрямую или косвенно содержат информацию о целевой переменной.
📝Пример: использовать «сумму страховых выплат» при прогнозе повторной госпитализации.

✅ Утечка после события (Post-Event Leakage): признаки формируются на основе данных, которые появляются после момента предсказания.
📝Пример: использовать данные после завершения полёта для прогнозирования аварии во время полёта.

✅ Утечка при разбиении данных (Train-Test Leakage): когда информация из тестовой выборки просачивается в тренировочную. Включает:
— анализ всех данных до разделения (корреляции, масштабирование)
— дубликаты и пересечения между train и test
— нарушение временного порядка для временных данных
— неправильное кросс-валидационное разделение

✅ Утечка по идентификаторам (Entity Leakage): когда уникальные ID встречаются в обеих выборках, и модель запоминает их, а не закономерности.
📝 Пример: номер самолёта в train и test.

2️⃣ Внимательно выбирайте признаки

✅ Удаляйте признаки, которые содержат информацию, недоступную на момент предсказания (например, отчёты после события).
✅ Будьте осторожны с ID и уникальными идентификаторами — модель может просто «запомнить» их.

3️⃣ Соблюдайте правильный порядок работы с данными

✅ Сначала разделяйте данные на тренировочные и тестовые, до любых вычислений и преобразований.
✅ Для временных данных обязательно сохраняйте хронологический порядок, чтобы не давать модели информацию из будущего.
✅ Избегайте дублирования и пересечений между train и test.

4️⃣ Правильно стройте пайплайны

✅ Масштабирование, кодирование, уменьшение размерности (PCA и др.) обучайте только на тренировочных данных.
✅ В кросс-валидации трансформации должны выполняться внутри каждого фолда отдельно.

5️⃣ Анализируйте только тренировочные данные

✅ Корреляции, статистики и подбор параметров делайте только на тренировочных данных.
✅ Не смотрите на тест, пока не завершите обучение и отладку.

Библиотека дата-сайентиста #буст

🚨 Pointblank — мощный инструмент для валидации данных

Если вы дата-сайентист, аналитик или инженер данных — эта библиотека точно заслуживает вашего внимания.

С интуитивным и цепочечным API, Pointblank позволяет:
— запускать точечные проверки качества данных,
— отслеживать критичные ошибки,
— автоматически формировать интерактивные отчёты,
— интегрироваться с Slack и другими системами.

Идеально для пайплайнов на pandas, polars или ibis.

✅ Пример базовой валидации:

import pointblank as pb

validation = (
   pb.Validate(data=pb.load_dataset("small_table"))
   .col_vals_gt(columns="d", value=100)         # Значения > 100
   .col_vals_le(columns="c", value=5)           # Значения <= 5
   .col_exists(columns=["date", "date_time"])   # Проверка наличия колонок
   .interrogate()                               # Выполнить валидацию
)

validation.get_tabular_report().show()

✅ Реальный пример на Polars:

import pointblank as pb
import polars as pl

sales_data = pl.read_csv("sales_data.csv")

validation = (
   pb.Validate(
      data=sales_data,
      tbl_name="sales_data",
      label="Валидация реальных данных",
      thresholds=(0.01, 0.02, 0.05),
      actions=pb.Actions(
         critical="Критичная ошибка качества данных на шаге {step} ({time})."
      ),
      final_actions=pb.FinalActions(
         pb.send_slack_notification("https://hooks.slack.com/services/your/webhook/url")
      ),
      brief=True,
   )
   .col_vals_between(columns=["price", "quantity"], left=0, right=1000)
   .col_vals_not_null(columns=pb.ends_with("_id"))
   .col_vals_regex(columns="email", pattern="^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$")
   .col_vals_in_set(columns="status", set=["pending", "shipped", "delivered", "returned"])
   .conjointly(
      lambda df: pb.expr_col("revenue") == pb.expr_col("price") * pb.expr_col("quantity"),
      lambda df: pb.expr_col("tax") >= pb.expr_col("revenue") * 0.05
   )
   .interrogate()
)

# HTML-отчёт можно открыть в браузере:
validation.get_tabular_report().show("browser")

🛠 Установка:

pip install pointblank
# или с нужным бэкендом:
pip install "pointblank[pl]"       # с Polars
pip install "pointblank[pd]"       # с Pandas
pip install "pointblank[duckdb]"   # с DuckDB (через Ibis)
pip install "pointblank[postgres]" # с PostgreSQL

✅ Под капотом

Pointblank работает с Polars, Pandas и Ibis (через Narwhals) — то есть вы можете валидировать данные не только из CSV, но и из баз данных (PostgreSQL, MySQL, DuckDB и др.).

👉 Ссылка на проект: https://clc.to/Ep7oDQ

Библиотека дата-сайентиста #буст